视频识别的标准方法通常在完整的输入视频上运行,由于视频中的时空冗余率广泛,因此效率低下。蒙版视频建模(即视频)的最新进展表明,香草视觉变压器(VIT)仅具有有限的视觉内容来补充时空上下文的能力。受到这一点的启发,我们提出了建议的蒙版动作识别(MAR),该识别(MAR)通过丢弃一定比例的补丁并仅在视频的一部分上操作来减少冗余计算。 MAR包含以下两个必不可少的组件:单元运行掩盖和桥接分类器。具体而言,为了使VIT轻松地感知细节以外的细节,并且会呈现单元格的掩蔽,以保留视频中的时空相关性,从而确保可以在同一空间位置观察到在同一空间位置的贴片,以便轻松地重建。此外,我们注意到,尽管部分观察到的特征可以重建语义上明确的隐形贴片,但它们无法实现准确的分类。为了解决这个问题,提出了一个桥接分类器,以弥合重建的VIT编码功能与专门用于分类的功能之间的语义差距。我们提出的MAR将VIT的计算成本降低了53%,并且广泛的实验表明,MAR始终以明显的边距优于现有的VIT模型。尤其是,我们发现由MAR训练的Vit-Lage胜过由标准培训方案训练的Vit-Bugue,这是通过说服Kinetics-400和某些v2数据集中的利润率,而VIT-LARGE的计算开销仅为14.5%。维特(Vit-Huge)。
translated by 谷歌翻译
该技术报告介绍了我们在CVPR-2022 AcitivityNet Challenge中为时间动作检测任务的第一名获胜解决方案。该任务旨在通过长期未经修剪的视频中的特定类别定位动作实例的时间界。最近的主流尝试基于密集的边界匹配,并列举所有可能的组合以产生建议。我们认为,生成的提案包含丰富的上下文信息,这可能会受益于检测信心预测。为此,我们的方法主要包括以下三个步骤:1)慢速,CSN,TimesFormer,TSP,i3d-Flow,i3d-flow,vggish-audio,tpn和vivit的动作分类和特征提取; 2)提案生成。我们提出的上下文感知建议网络(CPN)建立在BMN,GTAD和PRN之上,以通过随机掩盖某些建议功能来汇总上下文信息。 3)动作检测。最终检测预测是通过分配具有相应视频级分类结果的建议来计算的。最后,我们在不同的功能组合设置下将结果整合在一起,并在测试集中实现45.8%的性能,从而将CVPR-2021 ActivityNet挑战的冠军结果提高了1.1%。
translated by 谷歌翻译
最近,许多方法通过基于伪标签的对比学习来解决无监督的域自适应人员重新识别(UDA RE-ID)问题。在培训期间,通过简单地平均来自具有相同伪标签的集群的所有实例特征来获得UNI-Firedroid表示。然而,由于群集结果不完美的聚类结果,群集可能包含具有不同标识(标签噪声)的图像,这使得UNI质心表示不适当。在本文中,我们介绍了一种新的多质心存储器(MCM),以在群集中自适应地捕获不同的身份信息。 MCM可以通过为查询图像选择适当的正/负质心来有效地减轻标签噪声问题。此外,我们进一步提出了两种策略来改善对比学习过程。首先,我们介绍了一个域特定的对比度学习(DSCL)机制,通过仅通过相同域进行比较样本来完全探索局部信息。其次,我们提出了二阶最近的插值(Soni)以获得丰富和信息性的负样本。我们将MCM,DSCL和Soni集成到一个名为Multi-Firedroid表示网络(MCRN)的统一框架中。广泛的实验证明了MCRN在多个UDA重新ID任务上的最先进方法和完全无监督的重新ID任务的优越性。
translated by 谷歌翻译
本文从跨模式度量学习的角度来解决基于零点草图的图像检索(ZS-SBIR)问题。此任务具有两个特性:1)零拍摄设置需要具有良好的课堂紧凑性和识别新颖类别的课堂间差异的度量空间,而2)草图查询和照片库是不同的模态。从两个方面,公制学习视点益处ZS-SBIR。首先,它促进了深度度量学习(DML)中最近的良好实践的改进。通过在DML中结合两种基本学习方法,例如分类培训和成对培训,我们为ZS-SBIR设置了一个强大的基线。没有钟声和口哨,这种基线实现了竞争的检索准确性。其次,它提供了一个正确抑制模态间隙至关重要的洞察力。为此,我们设计了一种名为Domency Ippar Triplet硬挖掘(Mathm)的新颖方法。 Mathm增强了基线,具有三种类型的成对学习,例如跨模型样本对,模态样本对,以及它们的组合。\我们还设计了一种自适应加权方法,可以在动态训练期间平衡这三个组件。实验结果证实,Mathm根据强大的基线带来另一轮显着改进,并建立了新的最先进的性能。例如,在Tu-Berlin数据集上,我们达到了47.88 + 2.94%地图@全部和58.28 + 2.34%prip @ 100。代码将在:https://github.com/huangzongheng/mathm公开使用。
translated by 谷歌翻译
在这项工作中,我们为来自多视图RGB图像的3D面部重建提供了一种新方法。与以前的方法(3DMMS)构建的先前方法不同,我们的方法利用隐式表示来编码丰富的几何特征。我们的整体管道由两个主要组件组成,包括几何网络,它学习可变形的神经签名距离函数(SDF)作为3D面部表示,以及渲染网络,该渲染网络学会呈现神经SDF的面积点以匹配通过自我监督优化输入图像。要处理在测试时间的不同表达式的相同目标的野外稀疏视图输入,我们进一步提出了残余潜代码,以有效地扩展了学习的隐式面部表示的形状空间,以及新颖的视图开关丢失强制执行不同视图之间的一致性。我们在多个基准数据集上的实验结果表明,与最先进的方法相比,我们的方法优于替代基准,实现了优越的面部重建结果。
translated by 谷歌翻译
基于深度学习的低光图像增强方法通常需要巨大的配对训练数据,这对于在现实世界的场景中捕获是不切实际的。最近,已经探索了无监督的方法来消除对成对训练数据的依赖。然而,由于没有前衣,它们在不同的现实情景中表现得不稳定。为了解决这个问题,我们提出了一种基于先前(HEP)的有效预期直方图均衡的无监督的低光图像增强方法。我们的作品受到了有趣的观察,即直方图均衡增强图像的特征图和地面真理是相似的。具体而言,我们制定了HEP,提供了丰富的纹理和亮度信息。嵌入一​​个亮度模块(LUM),它有助于将低光图像分解为照明和反射率图,并且反射率图可以被视为恢复的图像。然而,基于Retinex理论的推导揭示了反射率图被噪声污染。我们介绍了一个噪声解剖学模块(NDM),以解除反射率图中的噪声和内容,具有不配对清洁图像的可靠帮助。通过直方图均衡的先前和噪声解剖,我们的方法可以恢复更精细的细节,更有能力抑制现实世界低光场景中的噪声。广泛的实验表明,我们的方法对最先进的无监督的低光增强算法有利地表现出甚至与最先进的监督算法匹配。
translated by 谷歌翻译
与Stylegan的图像操纵近年来一直是越来越多的问题。由于这些潜在空间中的语义和空间操纵精度有限,而且由于这些潜在空间中的语义和空间操纵精度有限,而且,则在分析几个语义潜在空间方面取得了巨大成功。然而,由于这些潜在空间中的语义和空间操纵精度有限,现有的努力被击败在细粒度的样式图像操作中,即本地属性翻译。要解决此问题,我们发现特定于属性的控制单元,该单元由多个特征映射和调制样式组成。具体而言,我们协同处理调制样式通道,并以控制单元而不是单独的方式映射,以获得语义和空间解除态控制。此外,我们提出了一种简单但有效的方法来检测特定于属性的控制单元。我们沿着特定稀疏方向向量移动调制样式,并更换用于计算要素映射的滤波器方号以操纵这些控制单元。我们在各种面部属性操纵任务中评估我们所提出的方法。广泛的定性和定量结果表明,我们的提出方法对最先进的方法有利地表现出。实图像的操纵结果进一步显示了我们方法的有效性。
translated by 谷歌翻译
对比学习的核心思想是区分不同的实例,并从相同实例中强制不同的视图以共享相同的表示。为了避免琐碎的解决方案,增强在生成不同视图中起重要作用,其中显示了随机裁剪来对模型来学习广义和鲁棒的表示。常用的随机作物操作保持沿着训练过程不变的两个视图之间的分布。在这项工作中,我们表明,自适应地控制沿着训练过程的两个增强视图之间的视差增强了学习的表示的质量。具体而言,我们提出了一种参数立方裁剪操作,用于视频对比度学习,其通过可分辨率的3D仿射变换自动批量3D立方。参数使用对抗目标与视频骨干同时培训,并从数据中学习最佳裁剪策略。可视化表明,参数自适应地控制了两个增强视图之间的中心距离和IOU,并且沿着训练过程的差异中的学习变化是有利于学习强烈的表示。广泛的消融研究证明了所提出的参数对多个对比学习框架和视频骨干的有效性。可以使用代码和模型。
translated by 谷歌翻译
Semantic segmentation requires both rich spatial information and sizeable receptive field. However, modern approaches usually compromise spatial resolution to achieve real-time inference speed, which leads to poor performance. In this paper, we address this dilemma with a novel Bilateral Segmentation Network (BiSeNet). We first design a Spatial Path with a small stride to preserve the spatial information and generate high-resolution features. Meanwhile, a Context Path with a fast downsampling strategy is employed to obtain sufficient receptive field. On top of the two paths, we introduce a new Feature Fusion Module to combine features efficiently. The proposed architecture makes a right balance between the speed and segmentation performance on Cityscapes, CamVid, and COCO-Stuff datasets. Specifically, for a 2048×1024 input, we achieve 68.4% Mean IOU on the Cityscapes test dataset with speed of 105 FPS on one NVIDIA Titan XP card, which is significantly faster than the existing methods with comparable performance.
translated by 谷歌翻译
There is a growing interest in developing unlearnable examples (UEs) against visual privacy leaks on the Internet. UEs are training samples added with invisible but unlearnable noise, which have been found can prevent unauthorized training of machine learning models. UEs typically are generated via a bilevel optimization framework with a surrogate model to remove (minimize) errors from the original samples, and then applied to protect the data against unknown target models. However, existing UE generation methods all rely on an ideal assumption called label-consistency, where the hackers and protectors are assumed to hold the same label for a given sample. In this work, we propose and promote a more practical label-agnostic setting, where the hackers may exploit the protected data quite differently from the protectors. E.g., a m-class unlearnable dataset held by the protector may be exploited by the hacker as a n-class dataset. Existing UE generation methods are rendered ineffective in this challenging setting. To tackle this challenge, we present a novel technique called Unlearnable Clusters (UCs) to generate label-agnostic unlearnable examples with cluster-wise perturbations. Furthermore, we propose to leverage VisionandLanguage Pre-trained Models (VLPMs) like CLIP as the surrogate model to improve the transferability of the crafted UCs to diverse domains. We empirically verify the effectiveness of our proposed approach under a variety of settings with different datasets, target models, and even commercial platforms Microsoft Azure and Baidu PaddlePaddle.
translated by 谷歌翻译